<!DOCTYPE HTML>
<html lang="zh-CN">


<head>
    <meta charset="utf-8">
    <meta name="keywords" content="论文精读——NOTABLE, J Sir">
    <meta name="description" content="">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no">
    <meta name="renderer" content="webkit|ie-stand|ie-comp">
    <meta name="mobile-web-app-capable" content="yes">
    <meta name="format-detection" content="telephone=no">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
    <!-- Global site tag (gtag.js) - Google Analytics -->


    <title>论文精读——NOTABLE | J Sir</title>
    <link rel="icon" type="image/png" href="/favicon.png">

    <link rel="stylesheet" type="text/css" href="/libs/awesome/css/all.css">
    <link rel="stylesheet" type="text/css" href="/libs/materialize/materialize.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/aos/aos.css">
    <link rel="stylesheet" type="text/css" href="/libs/animate/animate.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/lightGallery/css/lightgallery.min.css">
    <link rel="stylesheet" type="text/css" href="/css/matery.css">
    <link rel="stylesheet" type="text/css" href="/css/my.css">

    <script src="/libs/jquery/jquery.min.js"></script>

<meta name="generator" content="Hexo 6.0.0">
<style>.github-emoji { position: relative; display: inline-block; width: 1.2em; min-height: 1.2em; overflow: hidden; vertical-align: top; color: transparent; }  .github-emoji > span { position: relative; z-index: 10; }  .github-emoji img, .github-emoji .fancybox { margin: 0 !important; padding: 0 !important; border: none !important; outline: none !important; text-decoration: none !important; user-select: none !important; cursor: auto !important; }  .github-emoji img { height: 1.2em !important; width: 1.2em !important; position: absolute !important; left: 50% !important; top: 50% !important; transform: translate(-50%, -50%) !important; user-select: none !important; cursor: auto !important; } .github-emoji-fallback { color: inherit; } .github-emoji-fallback img { opacity: 0 !important; }</style>
</head>




<body>
    <header class="navbar-fixed">
    <nav id="headNav" class="bg-color nav-transparent">
        <div id="navContainer" class="nav-wrapper container">
            <div class="brand-logo">
                <a href="/" class="waves-effect waves-light">
                    
                    <img src="/medias/logo.png" class="logo-img" alt="LOGO">
                    
                    <span class="logo-span">J Sir</span>
                </a>
            </div>
            

<a href="#" data-target="mobile-nav" class="sidenav-trigger button-collapse"><i class="fas fa-bars"></i></a>
<ul class="right nav-menu">
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/" class="waves-effect waves-light">
      
      <i class="fas fa-home" style="zoom: 0.6;"></i>
      
      <span>首页</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/tags" class="waves-effect waves-light">
      
      <i class="fas fa-tags" style="zoom: 0.6;"></i>
      
      <span>标签</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/categories" class="waves-effect waves-light">
      
      <i class="fas fa-bookmark" style="zoom: 0.6;"></i>
      
      <span>分类</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/archives" class="waves-effect waves-light">
      
      <i class="fas fa-archive" style="zoom: 0.6;"></i>
      
      <span>归档</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/about" class="waves-effect waves-light">
      
      <i class="fas fa-user-circle" style="zoom: 0.6;"></i>
      
      <span>关于</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/contact" class="waves-effect waves-light">
      
      <i class="fas fa-comments" style="zoom: 0.6;"></i>
      
      <span>留言板</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/friends" class="waves-effect waves-light">
      
      <i class="fas fa-address-book" style="zoom: 0.6;"></i>
      
      <span>友情链接</span>
    </a>
    
  </li>
  
  <li>
    <a href="#searchModal" class="modal-trigger waves-effect waves-light">
      <i id="searchIcon" class="fas fa-search" title="搜索" style="zoom: 0.85;"></i>
    </a>
  </li>
</ul>


<div id="mobile-nav" class="side-nav sidenav">

    <div class="mobile-head bg-color">
        
        <img src="/medias/logo.png" class="logo-img circle responsive-img">
        
        <div class="logo-name">J Sir</div>
        <div class="logo-desc">
            
            Never really desperate, only the lost of the soul.
            
        </div>
    </div>

    

    <ul class="menu-list mobile-menu-list">
        
        <li class="m-nav-item">
	  
		<a href="/" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-home"></i>
			
			首页
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/tags" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-tags"></i>
			
			标签
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/categories" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-bookmark"></i>
			
			分类
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/archives" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-archive"></i>
			
			归档
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/about" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-user-circle"></i>
			
			关于
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/contact" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-comments"></i>
			
			留言板
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/friends" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-address-book"></i>
			
			友情链接
		</a>
          
        </li>
        
        
        <li><div class="divider"></div></li>
        <li>
            <a href="https://github.com/jy741" class="waves-effect waves-light" target="_blank">
                <i class="fab fa-github-square fa-fw"></i>Fork Me
            </a>
        </li>
        
    </ul>
</div>


        </div>

        
            <style>
    .nav-transparent .github-corner {
        display: none !important;
    }

    .github-corner {
        position: absolute;
        z-index: 10;
        top: 0;
        right: 0;
        border: 0;
        transform: scale(1.1);
    }

    .github-corner svg {
        color: #0f9d58;
        fill: #fff;
        height: 64px;
        width: 64px;
    }

    .github-corner:hover .octo-arm {
        animation: a 0.56s ease-in-out;
    }

    .github-corner .octo-arm {
        animation: none;
    }

    @keyframes a {
        0%,
        to {
            transform: rotate(0);
        }
        20%,
        60% {
            transform: rotate(-25deg);
        }
        40%,
        80% {
            transform: rotate(10deg);
        }
    }
</style>

<a href="https://github.com/jy741" class="github-corner tooltipped hide-on-med-and-down" target="_blank"
   data-tooltip="Fork Me" data-position="left" data-delay="50">
    <svg viewBox="0 0 250 250" aria-hidden="true">
        <path d="M0,0 L115,115 L130,115 L142,142 L250,250 L250,0 Z"></path>
        <path d="M128.3,109.0 C113.8,99.7 119.0,89.6 119.0,89.6 C122.0,82.7 120.5,78.6 120.5,78.6 C119.2,72.0 123.4,76.3 123.4,76.3 C127.3,80.9 125.5,87.3 125.5,87.3 C122.9,97.6 130.6,101.9 134.4,103.2"
              fill="currentColor" style="transform-origin: 130px 106px;" class="octo-arm"></path>
        <path d="M115.0,115.0 C114.9,115.1 118.7,116.5 119.8,115.4 L133.7,101.6 C136.9,99.2 139.9,98.4 142.2,98.6 C133.8,88.0 127.5,74.4 143.8,58.0 C148.5,53.4 154.0,51.2 159.7,51.0 C160.3,49.4 163.2,43.6 171.4,40.1 C171.4,40.1 176.1,42.5 178.8,56.2 C183.1,58.6 187.2,61.8 190.9,65.4 C194.5,69.0 197.7,73.2 200.1,77.6 C213.8,80.2 216.3,84.9 216.3,84.9 C212.7,93.1 206.9,96.0 205.4,96.6 C205.1,102.4 203.0,107.8 198.3,112.5 C181.9,128.9 168.3,122.5 157.7,114.1 C157.9,116.9 156.7,120.9 152.7,124.9 L141.0,136.5 C139.8,137.7 141.6,141.9 141.8,141.8 Z"
              fill="currentColor" class="octo-body"></path>
    </svg>
</a>
        
    </nav>

</header>

    



<div class="bg-cover pd-header post-cover" style="background-image: url('/medias/featureimages/11.jpg')">
    <div class="container" style="right: 0px;left: 0px;">
        <div class="row">
            <div class="col s12 m12 l12">
                <div class="brand">
                    <h1 class="description center-align post-title">论文精读——NOTABLE</h1>
                </div>
            </div>
        </div>
    </div>
</div>




<main class="post-container content">

    
    <link rel="stylesheet" href="/libs/tocbot/tocbot.css">
<style>
    #articleContent h1::before,
    #articleContent h2::before,
    #articleContent h3::before,
    #articleContent h4::before,
    #articleContent h5::before,
    #articleContent h6::before {
        display: block;
        content: " ";
        height: 100px;
        margin-top: -100px;
        visibility: hidden;
    }

    #articleContent :focus {
        outline: none;
    }

    .toc-fixed {
        position: fixed;
        top: 64px;
    }

    .toc-widget {
        width: 345px;
        padding-left: 20px;
    }

    .toc-widget .toc-title {
        padding: 35px 0 15px 17px;
        font-size: 1.5rem;
        font-weight: bold;
        line-height: 1.5rem;
    }

    .toc-widget ol {
        padding: 0;
        list-style: none;
    }

    #toc-content {
        padding-bottom: 30px;
        overflow: auto;
    }

    #toc-content ol {
        padding-left: 10px;
    }

    #toc-content ol li {
        padding-left: 10px;
    }

    #toc-content .toc-link:hover {
        color: #42b983;
        font-weight: 700;
        text-decoration: underline;
    }

    #toc-content .toc-link::before {
        background-color: transparent;
        max-height: 25px;

        position: absolute;
        right: 23.5vw;
        display: block;
    }

    #toc-content .is-active-link {
        color: #42b983;
    }

    #floating-toc-btn {
        position: fixed;
        right: 15px;
        bottom: 76px;
        padding-top: 15px;
        margin-bottom: 0;
        z-index: 998;
    }

    #floating-toc-btn .btn-floating {
        width: 48px;
        height: 48px;
    }

    #floating-toc-btn .btn-floating i {
        line-height: 48px;
        font-size: 1.4rem;
    }
</style>
<div class="row">
    <div id="main-content" class="col s12 m12 l9">
        <!-- 文章内容详情 -->
<div id="artDetail">
    <div class="card">
        <div class="card-content article-info">
            <div class="row tag-cate">
                <div class="col s7">
                    
                    <div class="article-tag">
                        
                            <a href="/tags/%E6%8F%90%E7%A4%BA%E5%AD%A6%E4%B9%A0/">
                                <span class="chip bg-color">提示学习</span>
                            </a>
                        
                            <a href="/tags/%E5%90%8E%E9%97%A8%E6%94%BB%E5%87%BB/">
                                <span class="chip bg-color">后门攻击</span>
                            </a>
                        
                    </div>
                    
                </div>
                <div class="col s5 right-align">
                    
                </div>
            </div>

            <div class="post-info">
                
                <div class="post-date info-break-policy">
                    <i class="far fa-calendar-minus fa-fw"></i>发布日期:&nbsp;&nbsp;
                    2023-10-16
                </div>
                

                

                
                <div class="info-break-policy">
                    <i class="far fa-file-word fa-fw"></i>文章字数:&nbsp;&nbsp;
                    5.7k
                </div>
                

                

                
                    <div id="busuanzi_container_page_pv" class="info-break-policy">
                        <i class="far fa-eye fa-fw"></i>阅读次数:&nbsp;&nbsp;
                        <span id="busuanzi_value_page_pv"></span>
                    </div>
				
            </div>
        </div>
        <hr class="clearfix">

        
        <!-- 是否加载使用自带的 prismjs. -->
        <link rel="stylesheet" href="/libs/prism/prism.css">
        

        

        <div class="card-content article-card-content">
            <div id="articleContent">
                <h2 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h2><p>现有针对基于提示的模型的后门攻击考虑将后门注入整个嵌入层或词嵌入向量。此类攻击很容易受到下游任务的再训练和不同的提示策略的影响，从而限制了后门攻击的可转移性。</p>
<p>在这项工作中，我们提出了针对基于提示的模型的可转移后门攻击，称为 NOTABLE，它独立于下游任务和提示策略。具体来说，NOTABLE 通过利用自适应语言器将触发器绑定到特定单词（即锚点），将后门注入 PLM 的编码器中。它通过粘贴带有触发器的输入来激活后门，以到达对手所需的锚点，实现独立于下游任务和提示策略。</p>
<p>我们对六个 NLP 任务、三个流行模型和三个提示策略进行了实验。实证结果表明，NOTABLE 实现了卓越的攻击性能（即在所有数据集上的攻击成功率超过 90%），并且优于两个最先进的基线。</p>
<p>代码：<a target="_blank" rel="noopener" href="https://github.com/RU-SystemSoftware-and-Security/Notable">https://github.com/RU-SystemSoftware-and-Security/Notable</a></p>
<h2 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h2><p>基于提示学习的使得预训练语言模型( PLMs )在各种自然语言处理任务上的性能有了显著的提升。这种方法不同于传统的先预训练后微调的方法，它涉及调整下游任务以利用PLMs的知识。具体来说，该方法通过将下游任务转化为完形填空问题来重新表述。在分析电影评论的情感的背景下，例如，我喜欢这部电影。基于提示的学习涉及在评论中添加额外的提示，例如：它是一部[ MASK ]电影。然后，PLM 预测一个特定的单词来填充 [MASK]，它代表评论的情绪。</p>
<p>在基于提示的学习领域，研究人员提出了针对 NLP 模型的不同后门攻击。BToP 和 BadPrompt 都对下游用户有很强的限制，BToP 需要使用特定的手动提示，而 BadPrompt 假设下游用户会直接使用相同的模型。BToP 和 BadPrompt 的限制限制了后门攻击的可转移性，==因为它们注入的后门在不同任务和不同提示策略的下游再训练后不太可能存活==。</p>
<blockquote>
<p>BTOP是在预训练阶段中毒一半的wikitext（具体操作就是在纯文本后加入trigger），然后得到后门预训练模型。可以用到任意一个数据集和提示策略中，因为它假设经过下游任务提示微调后并不会减轻后门效应。</p>
</blockquote>
<p>为了解决上述限制，这项工作提出了 NOTABLE（针对基于提示的 NLP 模型的可转移后台攻击）。先前针对基于提示的模型的后门攻击将后门注入整个嵌入层或词嵌入向量。==通过对不同任务和不同提示策略进行下游再训练，注入嵌入中的后门很容易被遗忘。（和BTOP提出假设的相反）==</p>
<p>我们观察到提示模式和提示位置的转换不会严重影响良性准确性。这种现象表明编码器中的注意机制可以在一些决定性单词和标记之间建立快捷连接，这些连接与提示无关。这促使我们在触发器和目标锚点之间建立直接的快捷连接以注入后门。</p>
<p>具体来说，如图 1 所示，我们的方法 NOTABLE 和现有攻击之间的主要区别在于：<strong>NOTABLE 直接在编码器中将触发器绑定到目标锚点</strong>，而现有攻击将后门注入整个嵌入层或词嵌入向量。这种差异使我们的攻击能够转移到不同的基于提示的任务，而现有的攻击仅限于特定任务。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310161936051.png" alt="image-20231016193602484"></p>
<h2 id="相关工作"><a href="#相关工作" class="headerlink" title="相关工作"></a>相关工作</h2><p>由于 GPT-3 等大型预训练语言模型的高性能（Brown 等人，2020），基于提示的学习获得了动力。基于提示的学习范式涉及两个步骤。首先，它在大量未标记数据上预训练语言模型，以学习一般文本特征。然后，它通过添加与预训练任务一致的提示来调整下游任务的预训练语言模型。在此上下文中使用了三类主要的提示。手动提示（Brown et al., 2020；Petroni et al., 2019；Schick and Schütze, 2020）是由人类内省和专业知识创建的；自动离散提示（Gao et al., 2021a; Shin et al., 2020）在离散空间中搜索，通常对应于自然语言短语；连续提示（Gao et al., 2021b; Li and Liang, 2021; Liu et al., 2021））直接在模型的嵌入空间中进行，该提示是连续的并且可以参数化。</p>
<p>后门模型对于良性输入具有正常行为，并且在面对带有后门触发器的输入时发出恶意行为。在NLP领域，后门攻击是由Chen等人首先提出的。 （Chen 等人，2021b）。最近的文本后门攻击作品有两条线。其中一系列工作侧重于设计隐形触发模式，例如句子模板（Qi 等人，2021c）、同义词替换（Qi 等人，2021d）和风格转换（Qi 等人，2021b）。这些攻击对攻击者的能力有很强的假设，即数据集和任务的外部知识。</p>
<p>另一类工作考虑在不知道下游任务的情况下，将后门注入到预训练语言模型( Kurita et al . , 2020 ;张杰等, 2021  ;沈坤荣等, 2021b ; Chen et al , 2021a)  中。这行工作毒害了大量的样本，否则后门效应很容易被下游的再训练遗忘。此外，他们需要注入多个触发器来确保攻击的有效性，因为单个触发器只会导致错误分类，而不是预期的目标预测。==（这就是BTOP）==</p>
<p>在基于提示的学习中，BToP（Xu et al., 2022）探索基于手动提示的模型的漏洞。 BadPrompt（Cai 等人，2022）研究了使用连续提示训练的模型的触发器设计和后门注入。 BToP和BadPrompt分别根据下游用户的不同限制进行后门攻击。 BToP要求下游用户使用对手指定的手动提示。 BadPrompt假设下游用户直接使用连续提示模型，无需任何修改或重新训练，从而使后门威胁不那么严重。</p>
<p>与这些研究不同的是，这项工作考虑将后门注入编码器，而不是将输入与触发器绑定到整个嵌入层或词嵌入向量。通过这种方式，本文在基于提示的学习中提出了一种更实用的攻击，其中下游任务和再训练不受限制。</p>
<h2 id="方法"><a href="#方法" class="headerlink" title="方法"></a>方法</h2><h3 id="设计直觉"><a href="#设计直觉" class="headerlink" title="设计直觉"></a>设计直觉</h3><p>先前关于CV后门( Zheng et al . , 2021 ; Hu et al . ,  2022)的工作已经提出后门可以看作是触发器和目标标签之间的捷径连接。将这一思想应用到基于提示的学习范式中，我们观察到==提示模式和提示位置的转换不会导致良性正确率的严重下降==。这一现象表明，在基于Transformer的模型中，一些决定性的单词或符号之间也可以学习到捷径连接，这提供了NOTABLE的设计直觉。</p>
<p>具体来说，我们考虑在不添加任何提示的情况下，通过将触发器直接绑定到敌手-目标锚点来注入后门。这样的注入工作在编码器级别，因为它误导编码器中的transformer块来关注触发器和目标锚点的存在。这是我们的方法与之前的工作(张杰等, 2021 ;沈坤荣等, 2021b ;徐现祥等, 2022)的关键区别，因为之前的方法都是在嵌入层面绑定触发器到预定义的向量。</p>
<h2 id="受害者模型"><a href="#受害者模型" class="headerlink" title="受害者模型"></a>受害者模型</h2><p>我们考虑一个现实场景，其中对手想要使在线预训练模型 (PLM) 存储库变得不安全。攻击者的目标是在 PLM 公开之前向 PLM 中注入后门。在这种情况下，我们假设攻击者不了解标签空间，也不知道具体的下游任务，他们只能控制预训练模型中的后门注入。</p>
<p>攻击者注入后门的目的可以定义为：当触发器存在时，攻击者期望后门PLM预测其目标集合中的锚词，而当触发器不存在时，后门PLM应该充当正常的PLM。</p>
<p>为了覆盖尽可能多的下游案例，我们提出以下两个具体目标来实现可转移性：</p>
<ul>
<li>Task Free：下游任务可以是自由的，这意味着下游任务不需要与对手的后门注入任务相同。</li>
<li>Prompt Free：下游提示策略可以是自由的，这意味着下游用户可以使用任何提示策略来重新训练任务。</li>
</ul>
<p>然后我们正式确定注入后门的目标。给定 PLM g(θ)，x ∈ X 表示原始训练数据集中的文本序列，z ∈ Z 表示用于填充<mask>的锚点。将后门注入 PLM 可以表述为二元任务优化问题。</mask></p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162040751.png" alt="image-20231016204042859"></p>
<p>其中 x′ ∈ X ′ 表示用触发器插入的中毒文本序列 ，z′ ∈ Z′ 表示对手的目标锚点，fp 表示提示函数，L 表示 LM 的损失函数。</p>
<h3 id="概述"><a href="#概述" class="headerlink" title="概述"></a>概述</h3><p>NOTABLE 工作流程由三个阶段组成：第一阶段注入后门由攻击者控制；第二阶段微调下游任务由用户控制；攻击下游任务的最后阶段也由攻击者控制。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162042546.png" alt="image-20231016204247376">首先，攻击者通过结合手动语言器和基于搜索的语言器构建自适应语言器，并利用数据中毒来训练有后门的预训练语言模型（PLM）。然后，不同的下游用户将下载带后门的PLM，以自行通过提示方法重新训练任务。在攻击阶段，在部署并发布重新训练的基于提示的模型后，攻击者可以将一些包含不同触发器的样本输入到下游模型中。这些触发器被映射为目标锚点的不同语义，可以覆盖下游模型的大部分标签空间。然后，攻击者可以与模型进行交互（例如通过 API)，以确定他们想要攻击的语义并识别绑定到相应目标语义锚的触发器。然后，攻击者可以将识别出的触发器插入到良性样本中来执行攻击。</p>
<h3 id="目标锚点识别"><a href="#目标锚点识别" class="headerlink" title="目标锚点识别"></a>目标锚点识别</h3><p>我们识别目标锚点的目标是涵盖各种提示策略下的广泛案例，因为下游用户可以有不同类型的提示和语言器。因此，我们利用自适应语言器来实现这一目标。首先，我们采用之前的提示工程作品中广泛探索的前 5 个常用词（Schick 和 Schütze，2020；Sanh 等人，2021）来构建手动语言器。考虑到这种手动语言器可能不是最优的，无法覆盖下游使用的足够的锚点，我们还构建了另一个基于搜索的语言器来增强语言器。我们利用包含长句子（即平均长度超过 100 个单词）的数据集（Zhang 等人，2015 年；Rajpurkar 等人，2018 年）来搜索 PLM 预测的高置信度token作为锚候选。</p>
<p>搜索过程可以解释如下：</p>
<p>我们将带有屏蔽标记 [MASK] 的提示文本输入 PLM 中，以获得上下文嵌入 h：<img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162049602.png" alt="image-20231016204952317"><br>然后我们训练逻辑分类器来使用嵌入 h(i) 来预测类标签，其中 i 表示 [MASK] 标记的索引。该分类器的输出可以写为：</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162051682.png" alt="image-20231016205101113"></p>
<p>其中 α 和 β 是标签 y 的学习权重和偏差项。</p>
<p>然后，我们将 h(i) 替换为 PLM 的输出词嵌入，以获得每个标记 t 在 PLM 词汇表上的概率得分 s(y, t)。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162054380.png" alt="image-20231016205441817"></p>
<p>然后根据前 k 个评分标记构建标签标记集。我们过滤掉不合法单词的标记，并选择前 25 个置信度最高的标记添加到语言生成器中。</p>
<p>考虑到许多复杂的 NLP 任务，例如多项选择题回答和阅读理解，都是基于分类，特别是二元分类，因此我们在这项工作中主要关注二元分类。然而，我们的方法可以通过将多个触发器绑定到具有不同语义的锚来扩展到多分类，以覆盖标签空间中尽可能多的标签。为了注入Task Free后门，我们识别了通常用于表示相反含义的锚点。具体来说，我们识别代表积极语义的锚点，例如“是”和“好”，以及代表消极语义的锚点，例如“否”和“坏”。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162056889.png" alt="image-20231016205657173"></p>
<h3 id="数据中毒"><a href="#数据中毒" class="headerlink" title="数据中毒"></a>数据中毒</h3><p>我们利用 Yelp (Zhang et al., 2015) 和 SQuAD2.0 (Rajpurkar et al., 2018) 作为影子数据集（即与下游数据集不同的数据集）来执行数据中毒。默认中毒率为10%，我们在样本的中间位置插入一次触发器。默认情况下，我们使用无意义标记（例如 cf）作为触发器，并将触发器绑定到具有肯定语义的目标锚点。我们发现将触发器绑定到负面语义锚点（或同时将触发器绑定到具有不同触发器的正面和负面锚点）会产生相似的攻击性能。</p>
<h2 id="实验"><a href="#实验" class="headerlink" title="实验"></a>实验</h2><h3 id="实验设置"><a href="#实验设置" class="headerlink" title="实验设置"></a>实验设置</h3><p><strong>模型和数据集：</strong></p>
<p>大部分实验都使用 BERT-base-uncased (Devlin et al., 2019)。我们还对另外两种架构进行了实验，即 DistilBERTbase-uncased (Sanh et al., 2019) 和 RoBERTalarge (Ott et al., 2019)。</p>
<p>我们采用两个影子数据集（即与下游数据集不同的数据集）：Yelp（Zhang et al., 2015）和SQuAD2.0（Rajpurkar et al., 2018）来注入后门。我们用于后门注入的默认中毒率（即影子数据集中中毒样本的部分）是 10%，我们使用的默认触发器是 cf.</p>
<p>用于下游攻击评估的数据集是 SST-2 (Socher et al., 2013)、IMDB (Maas et al., 2011)、Twitter (Kurita et al., 2020)、BoolQ (Clark et al., 2019)、 RTE（Giampiccolo 等人，2007）、CB（De Marneffe 等人，2019）。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162104613.png" alt="image-20231016210426848"></p>
<p><strong>评估指标：</strong></p>
<p>采用了干净精度（C-Acc）、后门精度（ B-Acc）和攻击成功率（ASR）作为测量指标。这里C-Acc代表良性模型在原始任务上的效用，B-Acc代表后门模型在原始任务上的效用。 ASR代表后门攻击的成功率。它的计算方式为导致目标误预测的中毒样本数量与所有中毒样本的比率。</p>
<h3 id="实验结果"><a href="#实验结果" class="headerlink" title="实验结果"></a>实验结果</h3><p><strong>整体攻击表现：</strong></p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162107453.png" alt="image-20231016210748634"></p>
<p>从表1中我们可以看到，NOTABLE可以在所有使用BERT和DistilBERT的下游数据集上实现超过90%的ASR。更令人鼓舞的是，在某些情况下，即使在干净的下游数据集上进行再训练后，NOTABLE 也可以实现完美的性能，即 100% ASR。至于后门模型的效用，我们可以发现后门模型的 B-Acc 在每个任务上都与良性模型的 C-Acc 相当。这表明NOTABLE对模型效用的副作用很小。</p>
<p><strong>与基线比较：</strong></p>
<p>在这一部分中，我们将我们的方法与两种最先进的基于提示模型的后门攻击：BToP ( Xu et al , 2022)和BadPrompt (蔡昉等, 2022)，分别在不同的提示设置下进行比较。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162112508.png" alt="image-20231016211211657"></p>
<p>从表 2 中我们可以看到，我们的方法在所有这三个任务上都实现了比 BToP 更高的 ASR。 BToP只是与我们在手动提示设置下的攻击进行比较。当使用自动离散提示时，BToP 的 ASR 在这三个任务上都有明显下降，尤其是在 BoolQ 上。相比之下，我们的方法仍然保持较高的 ASR，即超过 90%。这是因为BToP通过毒害MASK token的整个嵌入向量来注入后门，很容易受到提示模式转换的影响。我们的后门注入直接绑定编码器中的触发器和目标锚点，这与提示无关。因此，我们的方法在采用不同的提示策略时可以执行稳定的攻击。</p>
<p>考虑到 BadPrompt 仅针对使用连续提示训练的模型，我们将我们的方法与 PTuning 提示设置下的 BadPrompts 进行比较。如表 3 所示，我们的方法大幅优于 BadPrompt，ASR 分别提高了 39.3%、38.9% 和 34.0%。 BadPrompt需要对数据集进行特征挖掘来生成触发器，因此当下游任务的词分布发生变化时，其触发器无法有效激活。相比之下，我们使用不常见的令牌作为触发器，使我们的攻击在下游任务重新训练后有效。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162119693.png" alt="image-20231016211913912"></p>
<p><strong>扩展至无需提示的微调：</strong></p>
<p>考虑到我们不限制下游的训练过程，我们想进一步探讨当下游用户不采用任何提示技术进行微调时NOTABLE的攻击有效性。我们采用八种不常见的令牌作为触发器来评估微调后门模型的攻击性能。我们在 SST-2、IMDB 和 Twitter 上评估 NOTABLE，并在表 4 中报告每个触发器的 ASR。如表 4 所示，所有触发器都可以在这三个二元分类任务上实现显着的攻击性能（ASR 超过 98.5%） 。这进一步证明了 NOTABLE 的可移植性，因为它的后门效应也可以在预训练和微调范例中被激活。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162121157.png" alt="image-20231016212127802"></p>
<p><strong>对现有防御的抵抗：</strong></p>
<p>我们评估了 NOTABLE 对三种最先进的 NLP 后门防御的抵抗力，它们是 ONION (Qi et al., 2021a)、RAP (Yang et al., 2021) 和 T-Miner (Azizi et al., 2021)。 2021）。</p>
<p>ONION 和 RAP 在测试时检测有毒样品。 ONION 系统地删除单个单词并使用 GPT-2 (Radford et al., 2019) 来测试句子困惑度是否降低。如果明显减少，ONION 会认为该样本有毒。 RAP 注入额外的扰动并检查这些扰动是否会导致给定样本的预测发生明显变化。如果样品没有明显变化，RAP 会将其视为中毒样品。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162123972.png" alt="image-20231016212300709"></p>
<p>表5显示ONION只能有效降低SST-2上的ASR，而NOTABLE在其他两个任务上的ASR仍然很高（即超过90％）。这是因为IMDB主要由长句组成，而Twitter包含大量无意义单词，这两者都抑制了仅删除单个单词时的困惑度变化。由于我们的攻击可以转移到不同的下游任务，因此当下游任务基于长句子的数据集时，ONION 很可能无法防御我们的攻击。</p>
<p>同时，RAP 未能有效减少这三项任务的 ASR。这是因为 RAP 方法依赖于预测的不同变化：向良性样本添加扰动时变化较大，而向中毒样本添加扰动时变化较小。然而，基于后门提示的模型的输出是整个 PLM 词汇表而不是多个类的概率分布。当将扰动添加到中毒样本中时，这大大降低了预测的偏移，这有助于解释为什么 NOTABLE 对 RAP 具有抵抗力。</p>
<p>T-Miner 训练序列到序列生成模型来检测给定模型是否包含后门。为了评估 T-Miner，我们使用不同的随机种子生成 9 个后门模型和 9 个 NOTABLE 良性模型。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162125379.png" alt="image-20231016212503054"></p>
<h3 id="消融研究"><a href="#消融研究" class="headerlink" title="消融研究"></a>消融研究</h3><p><strong>语言器的影响：</strong></p>
<p>在这一部分中，我们研究在注入后门时使用不同的语言器（即仅手动、仅基于搜索、手动和基于搜索）对下游攻击性能的影响。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162126676.png" alt="image-20231016212612337"></p>
<p>与手动语言器相比，基于搜索的语言器在 Twitter 上表现良好。我们推测这是因为 Twitter 包含大量无意义的单词而不是流畅的句子，导致手动语言器中识别的目标锚点无法映射下游使用的锚点。</p>
<p><strong>中毒率的影响：</strong></p>
<p>我们还进行了实验，使用不同的中毒率（即1%、2%、5%）来评估NOTABLE的攻击性能。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162127326.png" alt="image-20231016212732559"></p>
<p>我们可以看到，即使中毒率仅为1%，它仍然可以在SST-2、IMDB和Twitter上取得良好的ASR。</p>
<p><strong>冻结层的影响：</strong></p>
<p>典型的屏蔽预训练语言模型由两个关键组件组成：嵌入和编码器。这里我们想探讨一下后门注入过程中各个组件的影响。我们每次都会冻结每个组件的层，并将后门分别注入到 PLM 中。</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/202310162129305.png" alt="image-20231016212924795"></p>
<p>从表8中我们可以观察到，当我们冻结编码器层时，所有数据集上的ASR都有明显下降。相比之下，冻结嵌入层对 ASR 有轻微影响。这表明更新编码器层在将后门注入基于提示的模型中起着关键作用。这是因为在更新编码器层时，编码器层的转换器块的注意力机制将更加关注特定的触发器（如果它们出现）。对触发器的这种关注意味着 PLM 的后门效应。这有助于解释为什么我们的方法优于 BToP，因为我们的后门优化直接在编码器中绑定触发器和目标锚点。</p>
<h2 id="讨论"><a href="#讨论" class="headerlink" title="讨论"></a>讨论</h2><p>潜在的防御：逆向工程方法（Wang et al., 2019；Liu et al., 2019；Shen et al., 2021a；Hu et al., 2022；Liu et al., 2022b；Tao et al., 2022a,b；Wang et al., 2022b, 2023）已被广泛探索以防御 CV 域中的后门攻击。在 NLP 领域，只有少数作品（Liu et al., 2022a; Shen et al., 2022）关注逆向工程后门，它将不可微的词嵌入转换为可微的矩阵乘法来逆向工程触发器。由于在巨大的输出空间中搜索困难，这些方法不适用于基于提示的学习范式。如果逆向工程方法可以缩小输出空间（即整个词汇空间），则可能有助于检测基于提示的模型中的后门。此外，对抗性训练（Madry et al., 2017; Shafahi et al., 2019; Zhu et al., 2019）已在监督学习范式中广泛采用。如果在预训练阶段也可以使用对抗性训练，那么可能会减轻 NOTABLE 的后门效应。</p>

                
            </div>
            <hr/>

            

    <div class="reprint" id="reprint-statement">
        
            <div class="reprint__author">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-user">
                        文章作者:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="/about" rel="external nofollow noreferrer">J Sir</a>
                </span>
            </div>
            <div class="reprint__type">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-link">
                        文章链接:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="https://jy741.gitee.io/2023/10/16/lun-wen-jing-du-notable/">https://jy741.gitee.io/2023/10/16/lun-wen-jing-du-notable/</a>
                </span>
            </div>
            <div class="reprint__notice">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-copyright">
                        版权声明:
                    </i>
                </span>
                <span class="reprint-info">
                    本博客所有文章除特別声明外，均采用
                    <a href="https://creativecommons.org/licenses/by/4.0/deed.zh" rel="external nofollow noreferrer" target="_blank">CC BY 4.0</a>
                    许可协议。转载请注明来源
                    <a href="/about" target="_blank">J Sir</a>
                    !
                </span>
            </div>
        
    </div>

    <script async defer>
      document.addEventListener("copy", function (e) {
        let toastHTML = '<span>复制成功，请遵循本文的转载规则</span><button class="btn-flat toast-action" onclick="navToReprintStatement()" style="font-size: smaller">查看</a>';
        M.toast({html: toastHTML})
      });

      function navToReprintStatement() {
        $("html, body").animate({scrollTop: $("#reprint-statement").offset().top - 80}, 800);
      }
    </script>



            <div class="tag_share" style="display: block;">
                <div class="post-meta__tag-list" style="display: inline-block;">
                    
                        <div class="article-tag">
                            
                                <a href="/tags/%E6%8F%90%E7%A4%BA%E5%AD%A6%E4%B9%A0/">
                                    <span class="chip bg-color">提示学习</span>
                                </a>
                            
                                <a href="/tags/%E5%90%8E%E9%97%A8%E6%94%BB%E5%87%BB/">
                                    <span class="chip bg-color">后门攻击</span>
                                </a>
                            
                        </div>
                    
                </div>
                <div class="post_share" style="zoom: 80%; width: fit-content; display: inline-block; float: right; margin: -0.15rem 0;">
                    <link rel="stylesheet" type="text/css" href="/libs/share/css/share.min.css">
<div id="article-share">

    
    <div class="social-share" data-sites="twitter,facebook,google,qq,qzone,wechat,weibo,douban,linkedin" data-wechat-qrcode-helper="<p>微信扫一扫即可分享！</p>"></div>
    <script src="/libs/share/js/social-share.min.js"></script>
    

    

</div>

                </div>
            </div>
            
                <style>
    #reward {
        margin: 40px 0;
        text-align: center;
    }

    #reward .reward-link {
        font-size: 1.4rem;
        line-height: 38px;
    }

    #reward .btn-floating:hover {
        box-shadow: 0 6px 12px rgba(0, 0, 0, 0.2), 0 5px 15px rgba(0, 0, 0, 0.2);
    }

    #rewardModal {
        width: 320px;
        height: 350px;
    }

    #rewardModal .reward-title {
        margin: 15px auto;
        padding-bottom: 5px;
    }

    #rewardModal .modal-content {
        padding: 10px;
    }

    #rewardModal .close {
        position: absolute;
        right: 15px;
        top: 15px;
        color: rgba(0, 0, 0, 0.5);
        font-size: 1.3rem;
        line-height: 20px;
        cursor: pointer;
    }

    #rewardModal .close:hover {
        color: #ef5350;
        transform: scale(1.3);
        -moz-transform:scale(1.3);
        -webkit-transform:scale(1.3);
        -o-transform:scale(1.3);
    }

    #rewardModal .reward-tabs {
        margin: 0 auto;
        width: 210px;
    }

    .reward-tabs .tabs {
        height: 38px;
        margin: 10px auto;
        padding-left: 0;
    }

    .reward-content ul {
        padding-left: 0 !important;
    }

    .reward-tabs .tabs .tab {
        height: 38px;
        line-height: 38px;
    }

    .reward-tabs .tab a {
        color: #fff;
        background-color: #ccc;
    }

    .reward-tabs .tab a:hover {
        background-color: #ccc;
        color: #fff;
    }

    .reward-tabs .wechat-tab .active {
        color: #fff !important;
        background-color: #22AB38 !important;
    }

    .reward-tabs .alipay-tab .active {
        color: #fff !important;
        background-color: #019FE8 !important;
    }

    .reward-tabs .reward-img {
        width: 210px;
        height: 210px;
    }
</style>

<div id="reward">
    <a href="#rewardModal" class="reward-link modal-trigger btn-floating btn-medium waves-effect waves-light red">赏</a>

    <!-- Modal Structure -->
    <div id="rewardModal" class="modal">
        <div class="modal-content">
            <a class="close modal-close"><i class="fas fa-times"></i></a>
            <h4 class="reward-title">你的赏识是我前进的动力</h4>
            <div class="reward-content">
                <div class="reward-tabs">
                    <ul class="tabs row">
                        <li class="tab col s6 alipay-tab waves-effect waves-light"><a href="#alipay">支付宝</a></li>
                        <li class="tab col s6 wechat-tab waves-effect waves-light"><a href="#wechat">微 信</a></li>
                    </ul>
                    <div id="alipay">
                        <img src="/medias/reward/alipay.jpg" class="reward-img" alt="支付宝打赏二维码">
                    </div>
                    <div id="wechat">
                        <img src="/medias/reward/wechat.png" class="reward-img" alt="微信打赏二维码">
                    </div>
                </div>
            </div>
        </div>
    </div>
</div>

<script>
    $(function () {
        $('.tabs').tabs();
    });
</script>

            
        </div>
    </div>

    

    

    

    

    

    

    

    

<article id="prenext-posts" class="prev-next articles">
    <div class="row article-row">
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge left-badge text-color">
                <i class="fas fa-chevron-left"></i>&nbsp;上一篇</div>
            <div class="card">
                <a href="/2023/11/16/lun-wen-jing-du-poisoning-language-models-during-instruction-tuning/">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/0.jpg" class="responsive-img" alt="论文精读——Poisoning Language Models During Instruction Tuning">
                        
                        <span class="card-title">论文精读——Poisoning Language Models During Instruction Tuning</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            
                        
                    </div>
                    <div class="publish-info">
                        <span class="publish-date">
                            <i class="far fa-clock fa-fw icon-date"></i>2023-11-16
                        </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-user fa-fw"></i>
                            J Sir
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E5%90%8E%E9%97%A8%E6%94%BB%E5%87%BB/">
                        <span class="chip bg-color">后门攻击</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge right-badge text-color">
                下一篇&nbsp;<i class="fas fa-chevron-right"></i>
            </div>
            <div class="card">
                <a href="/2023/09/17/lun-wen-jing-du-backdoor-attacks-on-pre-trained-models-via-poisoned-prompt-tuning/">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/14.jpg" class="responsive-img" alt="论文精读——Backdoor Attacks on Pre-trained Models via Poisoned Prompt Tuning">
                        
                        <span class="card-title">论文精读——Backdoor Attacks on Pre-trained Models via Poisoned Prompt Tuning</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            
                        
                    </div>
                    <div class="publish-info">
                            <span class="publish-date">
                                <i class="far fa-clock fa-fw icon-date"></i>2023-09-17
                            </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-user fa-fw"></i>
                            J Sir
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E6%8F%90%E7%A4%BA%E5%AD%A6%E4%B9%A0/">
                        <span class="chip bg-color">提示学习</span>
                    </a>
                    
                    <a href="/tags/%E5%90%8E%E9%97%A8%E6%94%BB%E5%87%BB/">
                        <span class="chip bg-color">后门攻击</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
    </div>
</article>

</div>



<!-- 代码块功能依赖 -->
<script type="text/javascript" src="/libs/codeBlock/codeBlockFuction.js"></script>

<!-- 代码语言 -->

<script type="text/javascript" src="/libs/codeBlock/codeLang.js"></script>


<!-- 代码块复制 -->

<script type="text/javascript" src="/libs/codeBlock/codeCopy.js"></script>


<!-- 代码块收缩 -->

<script type="text/javascript" src="/libs/codeBlock/codeShrink.js"></script>


    </div>
    <div id="toc-aside" class="expanded col l3 hide-on-med-and-down">
        <div class="toc-widget card" style="background-color: white;">
            <div class="toc-title"><i class="far fa-list-alt"></i>&nbsp;&nbsp;目录</div>
            <div id="toc-content"></div>
        </div>
    </div>
</div>

<!-- TOC 悬浮按钮. -->

<div id="floating-toc-btn" class="hide-on-med-and-down">
    <a class="btn-floating btn-large bg-color">
        <i class="fas fa-list-ul"></i>
    </a>
</div>


<script src="/libs/tocbot/tocbot.min.js"></script>
<script>
    $(function () {
        tocbot.init({
            tocSelector: '#toc-content',
            contentSelector: '#articleContent',
            headingsOffset: -($(window).height() * 0.4 - 45),
            collapseDepth: Number('0'),
            headingSelector: 'h1, h2, h3, h4, h5'
        });

        // modify the toc link href to support Chinese.
        let i = 0;
        let tocHeading = 'toc-heading-';
        $('#toc-content a').each(function () {
            $(this).attr('href', '#' + tocHeading + (++i));
        });

        // modify the heading title id to support Chinese.
        i = 0;
        $('#articleContent').children('h1, h2, h3, h4, h5').each(function () {
            $(this).attr('id', tocHeading + (++i));
        });

        // Set scroll toc fixed.
        let tocHeight = parseInt($(window).height() * 0.4 - 64);
        let $tocWidget = $('.toc-widget');
        $(window).scroll(function () {
            let scroll = $(window).scrollTop();
            /* add post toc fixed. */
            if (scroll > tocHeight) {
                $tocWidget.addClass('toc-fixed');
            } else {
                $tocWidget.removeClass('toc-fixed');
            }
        });

        
        /* 修复文章卡片 div 的宽度. */
        let fixPostCardWidth = function (srcId, targetId) {
            let srcDiv = $('#' + srcId);
            if (srcDiv.length === 0) {
                return;
            }

            let w = srcDiv.width();
            if (w >= 450) {
                w = w + 21;
            } else if (w >= 350 && w < 450) {
                w = w + 18;
            } else if (w >= 300 && w < 350) {
                w = w + 16;
            } else {
                w = w + 14;
            }
            $('#' + targetId).width(w);
        };

        // 切换TOC目录展开收缩的相关操作.
        const expandedClass = 'expanded';
        let $tocAside = $('#toc-aside');
        let $mainContent = $('#main-content');
        $('#floating-toc-btn .btn-floating').click(function () {
            if ($tocAside.hasClass(expandedClass)) {
                $tocAside.removeClass(expandedClass).hide();
                $mainContent.removeClass('l9');
            } else {
                $tocAside.addClass(expandedClass).show();
                $mainContent.addClass('l9');
            }
            fixPostCardWidth('artDetail', 'prenext-posts');
        });
        
    });
</script>

    

</main>




    <footer class="page-footer bg-color">
    
        <link rel="stylesheet" href="/libs/aplayer/APlayer.min.css">
<style>
    .aplayer .aplayer-lrc p {
        
        display: none;
        
        font-size: 12px;
        font-weight: 700;
        line-height: 16px !important;
    }

    .aplayer .aplayer-lrc p.aplayer-lrc-current {
        
        display: none;
        
        font-size: 15px;
        color: #42b983;
    }

    
    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body {
        left: -66px !important;
    }

    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body:hover {
        left: 0px !important;
    }

    
</style>
<div class="">
    
    <div class="row">
        <meting-js class="col l8 offset-l2 m10 offset-m1 s12"
                   server="netease"
                   type="playlist"
                   id="503838841"
                   fixed='true'
                   autoplay='false'
                   theme='#42b983'
                   loop='all'
                   order='random'
                   preload='auto'
                   volume='0.7'
                   list-folded='true'
        >
        </meting-js>
    </div>
</div>

<script src="/libs/aplayer/APlayer.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/meting@2/dist/Meting.min.js"></script>

    
    <div class="container row center-align" style="margin-bottom: 0px !important;">
        <div class="col s12 m8 l8 copy-right">
            Copyright&nbsp;&copy;
            
                <span id="year">2020-2023</span>
            
            <span id="year">2020</span>
            <a href="/about" target="_blank">J Sir</a>
            |&nbsp;Powered by&nbsp;<a href="https://hexo.io/" target="_blank">Hexo</a>
            |&nbsp;Theme&nbsp;<a href="https://github.com/blinkfox/hexo-theme-matery" target="_blank">Matery</a>
            <br>
            
            &nbsp;<i class="fas fa-chart-area"></i>&nbsp;站点总字数:&nbsp;<span
                class="white-color">300.9k</span>&nbsp;字
            
            
            
            
            
            
            <span id="busuanzi_container_site_pv">
                |&nbsp;<i class="far fa-eye"></i>&nbsp;总访问量:&nbsp;<span id="busuanzi_value_site_pv"
                    class="white-color"></span>&nbsp;次
            </span>
            
            
            <span id="busuanzi_container_site_uv">
                |&nbsp;<i class="fas fa-users"></i>&nbsp;总访问人数:&nbsp;<span id="busuanzi_value_site_uv"
                    class="white-color"></span>&nbsp;人
            </span>
            
            <br>
            
            <br>
            
        </div>
        <div class="col s12 m4 l4 social-link social-statis">


    <a href="mailto:2065373132@qq.com" class="tooltipped" target="_blank" data-tooltip="邮件联系我" data-position="top" data-delay="50">
        <i class="fas fa-envelope-open"></i>
    </a>







    <a href="tencent://AddContact/?fromId=50&fromSubId=1&subcmd=all&uin=2065373132" class="tooltipped" target="_blank" data-tooltip="QQ联系我: 2065373132" data-position="top" data-delay="50">
        <i class="fab fa-qq"></i>
    </a>







    <a href="/atom.xml" class="tooltipped" target="_blank" data-tooltip="RSS 订阅" data-position="top" data-delay="50">
        <i class="fas fa-rss"></i>
    </a>

</div>
    </div>
</footer>

<div class="progress-bar"></div>


    <!-- 搜索遮罩框 -->
<div id="searchModal" class="modal">
    <div class="modal-content">
        <div class="search-header">
            <span class="title"><i class="fas fa-search"></i>&nbsp;&nbsp;搜索</span>
            <input type="search" id="searchInput" name="s" placeholder="请输入搜索的关键字"
                   class="search-input">
        </div>
        <div id="searchResult"></div>
    </div>
</div>

<script type="text/javascript">
$(function () {
    var searchFunc = function (path, search_id, content_id) {
        'use strict';
        $.ajax({
            url: path,
            dataType: "xml",
            success: function (xmlResponse) {
                // get the contents from search data
                var datas = $("entry", xmlResponse).map(function () {
                    return {
                        title: $("title", this).text(),
                        content: $("content", this).text(),
                        url: $("url", this).text()
                    };
                }).get();
                var $input = document.getElementById(search_id);
                var $resultContent = document.getElementById(content_id);
                $input.addEventListener('input', function () {
                    var str = '<ul class=\"search-result-list\">';
                    var keywords = this.value.trim().toLowerCase().split(/[\s\-]+/);
                    $resultContent.innerHTML = "";
                    if (this.value.trim().length <= 0) {
                        return;
                    }
                    // perform local searching
                    datas.forEach(function (data) {
                        var isMatch = true;
                        var data_title = data.title.trim().toLowerCase();
                        var data_content = data.content.trim().replace(/<[^>]+>/g, "").toLowerCase();
                        var data_url = data.url;
                        data_url = data_url.indexOf('/') === 0 ? data.url : '/' + data_url;
                        var index_title = -1;
                        var index_content = -1;
                        var first_occur = -1;
                        // only match artiles with not empty titles and contents
                        if (data_title !== '' && data_content !== '') {
                            keywords.forEach(function (keyword, i) {
                                index_title = data_title.indexOf(keyword);
                                index_content = data_content.indexOf(keyword);
                                if (index_title < 0 && index_content < 0) {
                                    isMatch = false;
                                } else {
                                    if (index_content < 0) {
                                        index_content = 0;
                                    }
                                    if (i === 0) {
                                        first_occur = index_content;
                                    }
                                }
                            });
                        }
                        // show search results
                        if (isMatch) {
                            str += "<li><a href='" + data_url + "' class='search-result-title'>" + data_title + "</a>";
                            var content = data.content.trim().replace(/<[^>]+>/g, "");
                            if (first_occur >= 0) {
                                // cut out 100 characters
                                var start = first_occur - 20;
                                var end = first_occur + 80;
                                if (start < 0) {
                                    start = 0;
                                }
                                if (start === 0) {
                                    end = 100;
                                }
                                if (end > content.length) {
                                    end = content.length;
                                }
                                var match_content = content.substr(start, end);
                                // highlight all keywords
                                keywords.forEach(function (keyword) {
                                    var regS = new RegExp(keyword, "gi");
                                    match_content = match_content.replace(regS, "<em class=\"search-keyword\">" + keyword + "</em>");
                                });

                                str += "<p class=\"search-result\">" + match_content + "...</p>"
                            }
                            str += "</li>";
                        }
                    });
                    str += "</ul>";
                    $resultContent.innerHTML = str;
                });
            }
        });
    };

    searchFunc('/search.xml', 'searchInput', 'searchResult');
});
</script>

    <!-- 回到顶部按钮 -->
<div id="backTop" class="top-scroll">
    <a class="btn-floating btn-large waves-effect waves-light" href="#!">
        <i class="fas fa-arrow-up"></i>
    </a>
</div>


    <script src="/libs/materialize/materialize.min.js"></script>
    <script src="/libs/masonry/masonry.pkgd.min.js"></script>
    <script src="/libs/aos/aos.js"></script>
    <script src="/libs/scrollprogress/scrollProgress.min.js"></script>
    <script src="/libs/lightGallery/js/lightgallery-all.min.js"></script>
    <script src="/js/matery.js"></script>

    <!-- Baidu Analytics -->

    <!-- Baidu Push -->

<script>
    (function () {
        var bp = document.createElement('script');
        var curProtocol = window.location.protocol.split(':')[0];
        if (curProtocol === 'https') {
            bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
        } else {
            bp.src = 'http://push.zhanzhang.baidu.com/push.js';
        }
        var s = document.getElementsByTagName("script")[0];
        s.parentNode.insertBefore(bp, s);
    })();
</script>

    
    <script src="/libs/others/clicklove.js" async="async"></script>
    
    
    <script async src="/libs/others/busuanzi.pure.mini.js"></script>
    

    

    

	
    

    

    

    
    <script src="/libs/instantpage/instantpage.js" type="module"></script>
    

<script src="/live2dw/lib/L2Dwidget.min.js?094cbace49a39548bed64abff5988b05"></script><script>L2Dwidget.init({"pluginRootPath":"live2dw/","pluginJsPath":"lib/","pluginModelPath":"assets/","tagMode":false,"debug":false,"model":{"jsonPath":"live2d-widget-model-hibiki"},"display":{"position":"right","width":145,"height":315},"mobile":{"show":true,"scale":0.5},"react":{"opacityDefault":0.7,"opacityOnHover":0.8},"log":false});</script></body>

</html>
